mysql千万级数据量查询优化参考 您所在的位置:网站首页 mysql 千万级数据 id 区间 mysql千万级数据量查询优化参考

mysql千万级数据量查询优化参考

2024-07-03 18:57| 来源: 网络整理| 查看: 265

目 的

Mysql查询性能优化要从三个方面考虑,库表结构优化、索引优化和查询优化。

优化方案

2.1 where条件过滤数据多的放在前面,减少产生的临时表的数据量

2.2 在需要当条件的列上加索引,避免全表扫描

首先应考虑在 where 及 order by,不要判断=null或!=,,where 子句中使用 or ,in 和 not in 也要慎用,都会导致引擎放弃使用索引而进行全表扫描,索引也可以定期维护任务里重新建立索引(表上频繁发生update,delete操作时需要重建)。

2.3 like查询也将导致全表扫描

select id from t where name like '%abc%',若要提高效率,可以考虑全文检索。

2.4 子句中使用参数,也会导致全表扫描

因为SQL只有在运行时才会解析局部变量,可以改为强制查询使用索引:select id from t with(index(索引名)) where num=@num。

2.5 尽量避免在 where 子句中对字段进行表达式操作和函数操作

这将导致引擎放弃使用索引而进行全表扫描6、索引列有大量数据重复时,SQL查询可能不会去利用索引,索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引。

2.6 不要更新聚集索引数据列

索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。

2.7 避免频繁创建和删除临时表

2.8 尽量避免向客户端返回大数据量

若数据量过大,应该考虑相应需求是否合理。

具体实现

3.1 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引

3.2 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描

3.3 应尽量避免在 where子句中使用!=或操作符,否则将引擎放弃使用索引而进行全表扫描

3.4 应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描

如:

select id from t where num=10 or num=20 可以这样查询 select id from t where num=10 union all select id from t where num=20

3.5 in 和 not in 也要慎用,否则会导致全表扫描

如:

select id from t where num in(1,2,3) 对于连续的数值,能用 between 就不要用 in 了: select id from t where num between 1 and 3

3.6 下面的查询也将导致全表扫描

select id from t where name like '%abc%'

若要提高效率,可以考虑全文检索。

3.7 如果在 where 子句中使用参数,也会导致全表扫描

因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。

然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:

select id from t where num=@num

可以改为强制查询使用索引:

select id from t with(index(索引名)) where num=@num

3.8 应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描

如:

select id from t where num/2=100

应改为:

select id from t where num=100*2

3.9 应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描

如:

select id from t where substring(name,1,3)='abc'--name以abc开头的id select id from t where datediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id

应改为:

select id from t where name like 'abc%' select id from t where createdate>='2005-11-30' and createdate


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有